COMP5511の第5講は、大きな転換点となります。古典的なコンピューティングの決定論的な論理と、初期の分類モデルにおける教師あり学習の確実性から、生成AI時代の確率論的な中心へと移行します。生成AIの確率論的な中心。このセッションでは、最新のAIモデルが「事実」ではなく、むしろ確率分布を出力する理由を探り、LLMが詩を書いたり、拡散モデルがノイズから絵を描いたりすることを可能にするメカニズムを解き明かします。
1. パラダイムシフト：論理から確率へ
- IF-THENを超えて：厳格なルールから流動的な統計的確率への移行。
- 確実性の終焉：生成AIの結果が、その設計上非決定的である理由を理解する。
- 確率をツールとして：生成AI時代は、不確実性を特徴として、修正すべきバグではなく創造性のために扱う。
2. 創造の確率的エンジン
生成AIは、高次元の確率空間からのサンプリングに依存しています。テキストまたは画像を生成する場合でも、モデルは新規性を生み出すために不確実性をナビゲートします。
- 大規模言語モデル（LLM）：次のトークンを単一の選択肢としてではなく、可能性の分布として予測します。
- 拡散モデル：カオスなガウスノイズとして予測します。
- サンプリングプロセス：反復的で「ロボット的」な出力を防ぐために、どのようにランダム性が活用されるか。
3. 予測不能な世界のエージェント
自律エージェントは、「オープンワールド」をナビゲートしなければなりません。そこでは、すべての行動が未知のリスクと報酬を伴います。
幻覚のトレードオフ
純粋に決定論的なモデルは安全ですが、独創性に欠けます。不確実性を受け入れることで創造性を可能にしますが、同時に幻覚、つまりモデルがもっともらしいが誤った情報を自信を持って生成するリスクも導入します。
概念的サンプリングロジック
1
関数を定義Generate_Response（プロンプト、温度）：
2
計算確率分布すべての可能な次のトークン；
3
調整に基づいて分布を温度（高い＝より多様、低い＝より集中）；
4
選択次のトークンを加重ランダム選択；
5
繰り返すまで完了として予測します。
確率的モデリング
現代のAIは、二元的な真実ではなく、統計のレンズを通して世界を捉えます。